πληροφορίας, θεωρία της

-. Η εμφάνιση και ο πολλαπλασιασμός των προβλημάτων που συνδέονται με τις τηλεπικοινωνίες και με τις κυβερνητικές συσκευές οδήγησε σε μια βαθιά θεωρητική έρευνα και έναν ακριβή ορισμό της πληροφορίας. Με τον όρο αυτό ονομάζουμε το σύνολο των δεδομένων τα οποία δίνονται σ’ ένα ζωντανό ον, ιδιαίτερα στον άνθρωπο, ή σε μερικές συσκευές στον εξωτερικό χώρο. Έτσι, ένα σύστημα καθορίζει τη θέση του σ’ ένα άλλο μέσω ενός κοινού κώδικα και δια φυσικών διαύλων. Η θεωρία των πληροφοριών έχει φτάσει σήμερα, μέσω μιας αυστηρής πιθανοτικής μαθηματικής διατύπωσης, σ’ έναν υψηλότατο βαθμό γενίκευσης, εξαιτίας του οποίου έχει βρει εφαρμογές σ’ ένα πολύ μεγάλο αριθμό τομέων, από τη μελέτη των ηλεκτρικών επικοινωνιών δι’ ασυρμάτων μέσων έως τον προγραμματισμό, ολοένα και πιο αποδοτικών κωδίκων που χρησιμοποιούνται στις τεχνικές προγραμματισμού των ηλεκτρονικών υπολογιστών. Δύο πεδία εφαρμογής τελείως νέα και με εξαιρετικό μέλλον είναι οι τομείς της φυσιολογίας και της γενετικής. Στο πλαίσιο της φυσιολογίας μπορούμε πράγματι να θεωρήσουμε το κεντρικό νευρικό σύστημα ως ένα περίπλοκο ηλεκτρικό δίκτυο, μέσω του οποίου μεταδίνονται δι’ ηλεκτροχημικής οδού μηνύματα τα οποία αποτελούνται από τα νευρικά ερεθίσματα. Στον τομέα της γενετικής η θεωρία των πληροφοριών εφαρμόζεται ήδη με επιτυχία στο πρόβλημα της μετάφρασης των μηνυμάτων, των εκφραζόμενων στον κώδικα DNA, τα οποία ελέγχουν τις διαδικασίες σύνθεσης των πρωτεϊνών. Ο πρώτες εργασίες στον κλάδο εκείνο, που αργότερα ονομάστηκε θεωρία των πληροφοριών, οφείλονται στον Μπόλτσμαν και στον Κιπφμίλερ, από τους oποίους ο πρώτος μελέτησε τον τομέα της στατικής θερμοδυναμικής και ο δεύτερος τον τομέα των φίλτρων κυμάτων. Θεμελιωτής της θεωρίας των πληροφοριών ως επιστήμης υπήρξε ωστόσο ο Κλοντ Σάνον, ο οποίος καθόρισε, σε μια σειρά δημοσιεύσεων μεταξύ 1942 και 1948, αυστηρά μαθηματικά κριτήρια για τον ορισμό της πληροφορίας ως φυσικού μεγέθους και εισήγαγε για την ποσότητα πληροφορίας μια μονάδα μέτρησης. Αυτή ορίστηκε από τον Χάρτλεϊ με το όνομα binit (binary digit) που μετά συντμήθηκε σε bit. Ο ίδιος ο Σάνον μελέτησε για πρώτη φορά τα χαρακτηριστικά της αλυσίδας μετάδοσης της πληροφορίας. Στην απλούστερη περίπτωση η πληροφορία παράγεται από μια ασυνεχή πηγή, η οποία διαθέτει ένα περιορισμένο αριθμό συμβόλων για την έκφραση της (αλφάβητο), υπό μορφή μηνυμάτων τα οποία αποτελούνται από πεπερασμένες ακολουθίες αυτών των συμβόλων. Εάν τα σύμβολα π.χ. είναι τα γράμματα του ελληνικού αλφαβήτου, τα μηνύματα μπορούν να είναι ομάδες λέξεων· στην περίπτωση της τηλεγραφικής μετάδοσης τα σύμβολα των μηνυμάτων είναι η γραμμή, η στιγμή, το διάστημα. Τα σήματα, τα οποία παράγονται από την πηγή, μετατρέπονται κατόπιν από ένα κωδικοποιητή, κατά τρόπο ώστε να μπορούν να διαμορφώσουν ένα κατάλληλο φυσικό μέγεθος, το σήμα, το οποίο αποτελεί τον φορέα τους. Το κωδικοποιημένο έτσι μήνυμα διαδίδεται στη συνέχεια μέσω ενός κατάλληλου φορέα, του διαύλου μετάδοσης, και όταν φτάσει στον προορισμό του μετατρέπεται από έναν αποκωδικοποιητή, κατά τρόπο ώστε να είναι καταληπτό στον παραλήπτη, δηλαδή στον ανιχνευτή. Κοινό χαρακτηριστικό των πραγματικών αλυσίδων μετάδοσης είναι το γεγονός ότι στους διαύλους εισάγονται πάντα τυχαία και απρόβλεπτα σήματα (θόρυβος), τα οποία μεταβάλλουν το περιεχόμενο της πληροφορίας του μηνύματος: ένας από τους βασικούς σκοπούς της θεωρίας των πληροφοριών είναι συνεπώς να προσδιορίσει για κάθε δεδομένη αλυσίδα μετάδοσης την κωδικοποίηση, η οποία, με ίση ταχύτητα μετάδοσης, θα καταστήσει ελάχιστη την επίδραση του θορύβου στην ευκρίνεια του μηνύματος. Όσον αφορά στο μέγεθος της ποσότητας της πληροφορίας που μεταδίδεται, πρέπει να παρατηρηθεί ότι σ’ αυτή τη θεωρία, η έννοια της πληροφορίας συνδέεται στενά με τη μεγαλύτερη ή μικρότερη δυνατότητα πρόβλεψης του μηνύματος. Το μέγεθος που μετρά την ποσότητα πληροφορίας καθορίζεται πράγματι κατά τρόπο ώστε η τιμή του να είναι τόσο μεγαλύτερη όσο πιο απρόβλεπτο είναι το ίδιο μήνυμα: μια αλυσίδα πληροφοριών, η οποία θα μεταδίδει πάντα το ίδιο σύμβολο ή το ίδιο μήνυμα, μεταδίνει συνεπώς μια μηδενική ποσότητα πληροφορίας. Ένα ιδιαίτερο μήνυμα, όπως το αποτέλεσμα της ρίψης ενός ζαριού, είναι λιγότερο προβλεπτό από εκείνο που αποτελείται από το αποτέλεσμα της ρίψης ενός κέρματος, γιατί στην πρώτη περίπτωση τα δυνατά μηνύματα είναι έξι, όσες δηλαδή είναι οι έδρες του ζαριού, και στη δεύτερη περίπτωση μόνο δύο. Στη θεωρία του Σάνον η ποσότητα πληροφορίας, που περιέχεται σ’ ένα μήνυμα, μετράται μέσω ενός μεγέθους ονομαζόμενου εντροπία (το όνομα οφείλεται στο μαθηματικό ορισμό που είναι ανάλογος προς εκείνο του ομώνυμου μεγέθους της στατιστικής μηχανικής)  όπου h παριστάνει τον αριθμό των δυνατών μηνυμάτων και ph την πιθανότητα να ληφθεί το μήνυμα h^mo. Στην περίπτωση της ρίψης του νομίσματος και του ζαριού, τα δυνατά μηνύματα (όλα ισοπίθανα) είναι αντίστοιχα 2 και 6, με πιθανότητα 1/2 και 1/6 η κάθε μία. Η εντροπία, μετρούμενη σε μπιτ, ίση συνεπώς στην πρώτη περίπτωση με Η = –(1/2 λογ₂ + 1/2 λογ₂ 1/2) = 1 μπιτ και στη δεύτερη περίπτωση: Η = –6 · 1/6 λογ₂ 1/6 = 2,58 μπιτ. Οι περιπτώσεις που εμφανίζονται στις εφαρμογές της θεωρίας πληροφοριών είναι ωστόσο πιο σύνθετες. Π.χ. στη μετάδοση ενός μηνύματος που αποτελείται από λέξεις της ελληνικής γλώσσας, τα διάφορα γράμματα της κάθε λέξης δεν είναιόλα ισοπίθανα, γιατί η πιθανότητα να ληφθεί ένα από αυτά επηρεάζεται από τη συχνότητα με την οποία αυτό εμφανίζεται στη γλώσσα μας, από τους νόμους της γραμματικής και της σύνταξης, από εκείνα που έχουν μεταδοθεί προηγουμένως και από την έννοια του μηνύματος. Η θεωρία των πληροφοριών επιτρέπει ωστόσο τον προσδιορισμό της μέγιστης ποσότητας πληροφορίας, η οποία μπορεί να παραχθεί από μια ορισμένη πηγή στη μονάδα του χρόνου και τη μέγιστη ποσότητα πληροφορίας (και πληροφοριών σε μπιτ ανά δευτερόλεπτο), η οποία μπορεί να μεταδοθεί δι’ ενός δεδομένου διαύλου.